Apache Kafka Series - Kafka Streams for Data Processing [ویدئو]

سرفصل ها و درس ها

جریان های کافکا - نگاه اول Kafka Streams - First Look

• کافکا استریمز چیست؟ What is Kafka Streams?

• هدف درس/پیش نیاز/دانشجویان هدف Course Objective / Prerequisites / Target Students

• درباره مربی شما: Stephane Maarek About your Instructor: Stephane Maarek

• اجرای اولین برنامه Kafka Streams: WordCount Running your first Kafka Streams Application: WordCount

• Kafka Streams در مقابل دیگر کتابخانه‌های پردازش جریان (Spark Streaming، NiFi، Flink Kafka Streams vs other stream processing libraries (Spark Streaming, NiFi, Flink

• دانلود کد برای این کلاس Code Download for this Class

برنامه End to End Kafka Streams - تعداد کلمات End to End Kafka Streams Application - Word Count

• هدف بخش Section Objective

• کافکا مفاهیم اصلی را جاری می کند Kafka Streams Core Concepts

• محیط و راه اندازی IDE: Java 8، Maven، IntelliJ IDEA Environment and IDE Setup: Java 8, Maven, IntelliJ IDEA

• راه اندازی پروژه شروع کننده Starter Project Setup

• ویژگی های برنامه Kafka Streams Kafka Streams Application Properties

• توابع جاوا 8 لامبدا - مروری سریع Java 8 Lambda Functions - quick overview

• توپولوژی برنامه شمارش کلمات Word Count Application Topology

• چاپ توپولوژی جریان های کافکا Printing the Kafka Streams Topology

• کافکا خاموشی دلپذیر را جریان می‌دهد Kafka Streams Graceful Shutdown

• در حال اجرا برنامه از IntelliJ IDEA Running Application from IntelliJ IDEA

• برنامه اشکال زدایی از IntelliJ IDEA Debugging Application from IntelliJ IDEA

• موضوعات داخلی برای برنامه Kafka Streams ما Internal Topics for our Kafka Streams Application

• بسته بندی برنامه به عنوان Fat Jar & Running the Fat Jar Packaging the application as Fat Jar & Running the Fat Jar

• مقیاس کردن برنامه ما Scaling our Application

• جمع بندی بخش Section Wrap-Up

KStreams و KTables عملیات ساده (بدون حالت) KStreams and KTables Simple Operations (Stateless)

• اهداف بخش Section Objectives

• KStream و KTables KStream & KTables

• عملیات بدون تابعیت در مقابل عملیات دولتی Stateless vs Stateful Operations

• MapValues ​​/Map MapValues / Map

• فیلتر/FilterNot Filter / FilterNot

• FlatMapValues ​​/FlatMap FlatMapValues / FlatMap

• شاخه Branch

• SelectKey SelectKey

• خواندن از کافکا Reading from Kafka

• نوشتن برای کافکا Writing to Kafka

• جریان‌ها برای پارتیشن مجدد علامت‌گذاری شده‌اند Streams Marked for Re-Partition

• Refresher on Log Compaction Refresher on Log Compaction

• KStream و KTables Duality KStream and KTables Duality

• تبدیل KTable به KStream Transforming a KTable to a KStream

• تبدیل KStream به KTable Transforming a KStream to a KTable

• خلاصه بخش Section Summary

تمرین تمرین – رنگ مورد علاقه Practice Exercise – FavouriteColour

• FavouriteColour - شرح و راهنمایی تمرین را تمرین کنید FavouriteColour - Practice Exercise Description & Guidance

• گیر؟ در اینجا چند نکته وجود دارد! Stuck? Here are some Hints!

• راه حل جاوا Java Solution

• در حال اجرای برنامه Running the application

• راه حل اسکالا Scala Solution

KStreams و KTables Advanced Operations (Stateful) KStreams and KTables Advanced Operations (Stateful)

• هدف بخش Section Objective

• KTable groupBy KTable groupBy

• KGroupedStream/KGroupedTable Count KGroupedStream / KGroupedTable Count

• KGroupedStream/KGroupedTable Aggregate KGroupedStream / KGroupedTable Aggregate

• KGroupedStream/KGroupedTable Reduce KGroupedStream / KGroupedTable Reduce

• نگاه کردن به KStream KStream peek

• KStream Transform/TransformValues KStream Transform / TransformValues

• اگر بخواهم به یک سیستم خارجی بنویسم چه می شود؟ What if I want to write to an external System?

• نمودار خلاصه Summary Diagram

دقیقاً زمانی معناشناسی - نظریه Exactly Once Semantics – Theory

• دقیقا یک بار چیست؟ What's Exactly Once?

• دقیقا یک بار در کافکا 0.11 Exactly Once in Kafka 0.11

• به هر حال حداقل یک بار مشکل چیست؟ What's the problem with at least once anyway?

• چگونه دقیقا یک بار در کافکا استریمز انجام دهیم How to do exactly once in Kafka Streams

Exactly Once Semantics - تمرین تمرین - BankBalance Exactly Once Semantics - Practice Exercise – BankBalance

• BankBalance - بررسی اجمالی تمرین BankBalance - Exercise Overview

• راهنمای تهیه کننده کافکا Kafka Producer Guidance

• راه حل تهیه کننده کافکا Kafka Producer Solution

• راهنمایی و نکات کافکا استریمز Kafka Streams Guidance & Hints

• راه حل کافکا استریمز Kafka Streams Solution

• اجرای برنامه BankBalance Running the BankBalance Application

• خلاصه بخش Section Summary

پیوستن - مثال KStream به GlobalKTable Joins - KStream to GlobalKTable example

• اتصالات در کافکا استریمز چیست؟ What are joins in Kafka Streams?

• به محدودیت ها و GlobalKTables بپیوندید Join Constraints and GlobalKTables

• انواع مختلف اتصالات: اتصال داخلی، اتصال چپ، اتصال خارجی The different types of joins: Inner Join, Left Join, Outer Join

• ایجاد یک پیوست با UserEnrich Kafka Streams App Creating a join with UserEnrich Kafka Streams App

• اجرای برنامه پیوستن Kafka Streams Running the Kafka Streams Join application

آزمایش برنامه Kafka Streams Testing your Kafka Streams Application

• تست در کافکا استریمز Testing in Kafka Streams

• پروژه Kafka Streams خود را راه اندازی کنید Setup your Kafka Streams project

• عملی: برنامه WordCount خود را تست کنید Hands-On: Test your WordCount application

مراحل بعدی Next Steps

• تبریک و مراحل بعدی Congratulations and next steps